Anphong Nguyễn Hữu Long sinh ngày 25 tháng 1 năm 1953, tại Làng Rùa, xã Thanh Thùy, huyện Thanh Oai, thành phố Hà Nội.[11] Sau khi cậu bé Long ra đời không lâu, gia đình cậu di cư vào miền Nam và quyết định sinh sống tại Đà Nẵng. Gia đình giám mục Nguyễn Hữu Long tổng cộng có ba người là tu sĩ, ngoài giám mục Long còn có người anh làm linh mục chánh xứ giáo xứ Tam Kỳ, giáo phận Đà Nẵng và em út làm linh mục tại giáo phận Regina (Canada). Giám mục Nguyễn Hữu Long đánh giá cha mẹ và anh chị em của mình là những giáo hữu bình thường, ít học, nhưng có lòng tin đối với Thiên Chúa và giữ đạo tốt, gia đình có thói quen tổ chức giờ kinh tối.[12] Song thân cậu từng sinh hoạt tại giáo xứ Tân Phú Hòa, tổng giáo phận Thành phố Hồ Chí Minh trong vòng vài thập niên.[13]

Từ năm 1965 đến năm 1972, cậu bé Nguyễn Hữu Long bắt đầu con đường tu học khi nhập học tại Tiểu chủng viện Thánh Gioan ở Ðà Nẵng. Sau khi học xong Đại chủng viện, chủng sinh Long học Triết học tại Ðại chủng viện Hòa Bình, thuộc Giáo phận Ðà Nẵng cho đến năm 1975. Sau phân môn Triết học, chủng sinh Long tiếp tục theo học Thần học tại Tòa Giám mục Đà Nẵng cho đến năm 1978.[11] Trong thời gian tu học, chủng sinh Nguyễn Hữu Long cũng làm các nghề khác nhau để nuôi sống bản thân như nghề thợ nhuộm, hớt tóc, vấn thuốc lá,... Trong thời gian tu học, gia đình chủng sinh Nguyễn Hữu Long sinh sống cách khó khăn tại vùng kinh tế mới. Anh em chủng sinh Long xin về phụ giúp gia đình, tạm hoãn tu học, nhưng cha mẹ cậu không đồng tình. Cha ông cũng gửi các thư đến các con để động viên việc kiên trì tu học.[12] Thực hiện công việc hớt tóc, chủng sinh Long có thể dành thời gian phụ giúp gia đình và trau dồi thêm kiến thức. Cậu cũng từ chối lời chỉ dẫn vượt biên để tu trì, vì cho rằng tình hình Việt Nam mới cần linh mục hơn.[14]

Từ năm 1978 đến năm 1982, Nguyễn Hữu Long thi hành nghĩa vụ thanh niên tại công trường thủy lợi Phú Ninh – Quảng Nam trong ba năm rưỡi, sau đó trở về, lặng lẽ tiếp tục tu học và lao động cho đến ngày chịu chức linh mục.[15] Chủng sinh Long và 23 chủng sinh khác được đưa đến lao động với các công việc chính là gánh đất đá và đào lấp mương.[14] Nói về việc lao động tại Công trường Phú Ninh, Nguyễn Hữu Long cho rằng việc lao động trong khoảng thời gian này mang tính "khổ sai" hơn là "vinh quang".[16]

Sau khi chiến tranh Việt Nam kết thúc cho đến khi được truyền chức linh mục, chủng sinh Long đã gặp khó khăn trong đời sống như việc thiếu ăn thiếu mặc và tài sản chỉ có một chiếc xe đạp. Hoàn tất nghĩa vụ thanh niên, do gia đình đã đi kinh tế mới ở Lâm Đồng, rồi Đồng Nai, chủng sinh Nguyễn Hữu Long từ chối trở về với gia đình mà quyết định ở lại giáo phận và phải đăng ký tạm trú. Nói về giai đoạn này trong một bài phỏng vấn với báo Công giáo và Dân tộc, giám mục Long cho biết ông cố gắng sống cho hiện tại và không trông đợi được truyền chức linh mục.[14]